package cn.rslee.scala.demos

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object WordCount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("wordcount")
    val sc = new SparkContext(conf)
    val rdd1 = sc.textFile("test.txt");
    rdd1.foreach(println);
    val rddtest = rdd1.flatMap(line=>line.split(" "));
    rddtest.foreach(println);
    val rdd2 = rdd1.flatMap(_.split(" "));
    rdd2.foreach(println);
    val rdd3 = rdd2.map((_, 1));
    rdd3.foreach(println);
    val rdd4 = rdd3.reduceByKey(_ + _);
    rdd4.foreach(println);

  }

}